SecPO：面向提示注入安全的原理性对抗训练
🧭 LLM 安全 · 对抗训练防御 Prompt Injection
UC Berkeley · Anthropic · Google DeepMind
提出 SecPO 损失与对抗训练管线，将 Qwen3.6-27B 在 AgentDojo 上的提示注入 ASR 从 78.8% 降至 8.8%，且无良性性能损失。
📌 工作参考价值（4 点）
- 在电商/客服 Agent 使用不可信外部数据（商品评论、工单、邮件）时，应将 prompt injection 视为高风险，采用防御性微调而非仅依赖系统提示词；SecPO 思路：构造注入不变且保持业务 utility 的偏好对，替代以原始不安全模型为参考的 DPO。
- 可搭建红队自动化对抗训练流水线：持续合成强注入样本（论文 best@240 水平的攻击），加入微调数据，比只用弱模拟攻击有效；对电商场景可针对商品描述注入、用户评论注入等生成专用对抗样本。
- 上线前评估应采用 AgentDojo 类自适应攻击和 ASR@N 指标，覆盖攻击者后手（AttackerMovesSecond）等更贴合真实 agent 工作流的位置，而不仅是单轮 prompt 测试。
- 安全微调可以与工具调用、指令遵循等能力保持兼容：通过多任务/多基准联合训练与监控，避免为了安全牺牲业务核心能力。
面向智能体环境的可扩展弱到强验证器加固
🧭 Agent 环境验证器加固与奖励安全
Stanford University · Carnegie Mellon University · Fewshot Corp · Independent Researcher
隔离验证器沙箱加 hacker-fixer 迭代循环，全自动大幅降低攻击成功率
📌 工作参考价值（4 点）
- 在电商搜索/推荐的 Agent 评估中，若使用程序化规则或 LLM-as-a-judge 给出奖励，可借鉴 hacker-fixer 循环做上线前攻击审计：用弱模型主动找评估器漏洞，迭代修复后再部署，减少 reward hacking 导致的不准确评测与训练偏误。
- 多智能体系统里，将 verifier/裁判模块与执行 agent 的状态空间隔离，防止 agent 直接改写奖励信号或评测结果，确保 RL 或 online 策略的奖励信号干净。
- 弱到强范式有实用价值：即使当前攻击模型能力较弱，也能产生对更强未来模型的防御增益，适合预算有限时提前加固线上奖励函数或评估器。
- 加固效果随迭代次数提升，建议设置自动化流水线并预留 hardening budget，周期性重跑而非静态一次性修复。
CiteShade：多源检索增强生成中的引用洗钱攻击及其反事实防御
🧭 RAG 引用安全与防御
City University of Hong Kong
提出首个 RAG 引用洗钱攻击，展示如何让模型把错误答案归因于可信源，并给出反事实防御。
📌 工作参考价值（4 点）
- 在构建基于 RAG 的搜索/问答/推荐解释系统时，不能默认引用真实可靠：攻击者可通过单一恶意源污染多源上下文，需引入引用链路验证机制，单纯检查答案困惑度或引用支持度不够（本文已证明可被绕过）。
- 借鉴反事实防御思路：在线生成后执行“源删除”或干预测试，观察答案是否改变，以检测哪个来源真正驱动了答案，可作为校验模块部署在生成链路末端。
- 漏洞与模型的引用倾向相关而非模型规模，选型时应实测模型在引用指令下的“易受骗程度”，优先选择引用倾向低或约束引用格式的模型，而不是只看参数规模。
- 在多源外部数据接入（商品描述、用户评论、广告文案）时，建议对来源可信度分级，并对引用来源做隔离或加权，防止低可信来源劫持高可信来源的引用。
SpecGuard：零额外计算成本推理时后门检测
🧭 LLM 后门检测 · 投机解码
Institute of Science Tokyo · Microsoft Security Response Center · Microsoft Azure · Shandong University
利用投机解码中的草稿token接受率变化，实现零额外计算成本的LLM推理时后门检测
📌 工作参考价值（4 点）
- 若线上 LLM 推理服务（如生成式推荐文案、Agent 工具调用）已启用投机解码，可几乎零成本监控“草稿 token 接受率”异常波动，作为模型行为突变或后门触发的预警信号，无需额外模型前向。
- “干净小模型作参照”的思路可迁移到推荐模型监控：用训练冻结的干净基线模型对比线上微调模型的输出分布，捕捉因数据投毒或环境漂移导致的异常行为，尤其是对用户输入中的罕见/语义触发模式。
- 工程实现上，接受率是一个标量，计算开销极低，适合部署在 gateway 或 serving 层；但接受率受输入难度影响，应结合分位数或滑动窗口做自适应阈值，避免正常长尾输入引发误报。
- 业务可借鉴点有限：后门检测主要服务于 AI 供应链安全，电商推荐团队若无第三方模型微调部署场景，直接迁移价值不大。
智能体红队系统：自动提示注入攻击
🧭 Agent 红队测试与安全攻击
The Pennsylvania State University
提出PIMiner，通过多任务训练构建可迁移策略库，实现跨LLM的高效提示注入红队测试。
📌 工作参考价值（4 点）
- 对 Agent 推荐系统做安全评估时，可借鉴策略库思路：收集历史攻击成功案例，沉淀为可复用的策略模板，对新上线的 Agent 模块快速进行鲁棒性测试。
- 高度稀疏查询（每个样本仅需约 10 次查询）的做法，适合在线上生产环境以极低采样成本持续探测 Agent 是否有注入漏洞，避免大量无效请求影响服务。
- 跨模型迁移能力表明：可以基于少数开源模型训练出一套通用攻击策略库，再迁移到闭源商业模型（如 GPT-4）上做红队测试，业务中不必强行获取目标模型内部信息。
- 攻击成功样本可直接用于构造对抗训练数据，强化防御，从而让电商搜索 / 推荐 Agent 更稳健地处理不可信的外部内容（如商品描述、用户评价、工具返回结果）。
SkillJack：自进化智能体技能管道中的持久后门攻击
🧭 自进化 Agent 技能学习的安全风险 ★ 深度解读
Tencent Zhuque Lab
首次揭示自进化智能体的经验到技能转换如何将中毒经验固化为持久、可路由的后门技能
📌 工作参考价值（4 点）
- 自进化推荐Agent若用交互历史生成检索或推荐技能，须警惕中毒经验被固化；应建立技能溯源，标记数据血缘，源清除时级联撤销衍生技能，避免持久后门。
- 技能提取会“洗白”恶意意图（如“备份服务”掩盖数据外传），安全检测不能仅审查原始轨迹，需对每个衍生技能重新评估，尤其关注元数据（名称、描述）是否误导检测器。
- 工程实现中，技能库与经验存储通常解耦，仅清空原始记录不足以根除攻击，需配套技能生命周期管理，实现源删则后代技能同步失效。
- 对使用LLM路由的技能推荐系统，可借鉴其载荷构造思路，设计元数据感知的鲁棒性审查，避免仅靠表面文本判毒；并注意多防线组合可能因技能路由变化而失效，需联合优化。